Spurious Advantage Hidden in GRPO
GRPO 中隐藏的伪优势：有界答案与搜索智能体中的猜测奖励
🧭 RLVR 优势估计修正 · 防猜测偏差
Rochester Institute of Technology · Adobe Research
识别 GRPO 优势估计在有限答案空间与搜索智能体中会奖励猜测行为，并提出 SIGNBALANCE 修正
📌 工作参考价值（4 点）
- 在二元验证 reward 的 RLVR 场景里警惕候选空间大小：电商/搜索 Agent 常把「点击/转化/找到商品」等做成二元 verifier，如果某一步的候选答案集很小（如选品类、选广告位、选价格档），GRPO 的组内归一化优势会奖励撞对的 rollout，策略容易被带偏为猜测而非推理。训练前可先审计每个 prompt group 的有效答案数量。
- 优势估计不要直接用组内 std 归一化：SIGNBALANCE 保持 verifier 的符号，使用全局尺度，并用 stop-gradient 按类别重缩放恢复零均值。工程上可以改成：对每个 prompt group 计算 sign 后，用全局 running std 或固定 scale，再按正确/错误类别分别做 baseline 校正，避免组内 composition 引入伪优势。
- 搜索 Agent 的 credit assignment 要区分路径质量：预算增加会让多条轨迹到达同一答案，GRPO 会奖励大量探索撞答案的轨迹。业务中训练搜索/推荐 Agent 时，如果 reward 只给最终结果，建议在轨迹中间步加入过程 reward（如 query 改写是否有效、是否看了正确商品）或对同终点轨迹做加权，降低撞答案的收益。
- 有界子任务单独处理：开放答案任务中可能嵌套有界子问题（如多选筛选条件），可对这类子步骤单独建模优势，或在 prompt 设计上扩大候选空间，减少 GRPO 伪优势的触发条件。